LangChain 优化技巧 1
Trace 分析
总结经验教训
将每次失败变为
Harness 的养分
全流程日志
自动分析
针对性修复
持续迭代
(。◕‿◕。) 从失败中学习,让系统更强大~
什么是
Trace
?
决策记录
1
工具调用
2
生成内容
3
报错信息
4
执行结果
5
Trace = Agent 执行任务的
全流程完整日志
记录
每一步决策
和
每一次操作
LangChain 将其做成一个
Agent Skill
(。♥‿♥。) 记录每一步,分析有依据~
Trace 分析
流程
实验跑完 → 自动抓取 → 并行分析 → 汇总修改
1
实验完成
任务执行结束
2
抓取 Traces
自动收集日志
3
并行分析
多 Agent 协同
4
汇总建议
主 Agent 整合
5
修改 Harness
针对性优化
类似 ML 中的
Boosting
— 每轮针对性解决
已发生的问题
R1
R2
R3
R4
R5
(๑•̀ㅂ•́)و✧ 像Boosting一样越来越强!
为什么 Trace 分析
如此重要
?
常见误区
盲目换提示词
盲目换模型
从不分析失败原因
浪费每次
优化机会
优化效率
25%
VS
Trace 分析
定位具体原因
针对性修复
不重复犯同样的错
持续提升
稳定性
优化效率
90%
盲目尝试
数据驱动
持续进化
(⚆_⚆) 用数据说话,不盲目猜测~
每次失败都是
Harness 的养分
不浪费任何一次失败的优化机会
执行任务
抓取 Trace
分析问题
优化 Harness
٩(ˊᗜˋ*)و 每次失败都是成长的机会!